分散的多基金会计划一直是机器人技术研究的重要领域。该领域中有趣且有影响力的应用是在未结构化的道路环境中分散的车辆协调。例如，在十字路口中，在没有中央协调员的情况下，在相交路径的多个车辆上解除多种车辆是有用的。我们从常识中学到的是，要使车辆浏览这种未建筑的环境，驾驶员必须理解并符合附近驾驶员观察到的隐式“社会礼节”。为了研究这种隐式驾驶协议，我们收集了伯克利DeepDrive无人机数据集。该数据集包含1）一组航空视频记录未结构化驾驶，2）图像和注释的集合来训练车辆检测模型，3）一个用于说明典型用法的开发脚本套件。我们认为，该数据集是研究人类驱动因素和次要兴趣的分散多种计划的主要兴趣，用于遥感环境中的计算机视觉。
translated by 谷歌翻译
随着自动组件比例越来越多的新兴车辆系统提供了最佳控制的机会，以减轻交通拥堵和提高效率。最近有兴趣将深入增强学习（DRL）应用于这些非线性动力学系统，以自动设计有效的控制策略。尽管DRL是无模型的概念优势，但研究通常仍依赖于对特定车辆系统的艰苦训练设置。这是对各种车辆和机动性系统有效分析的关键挑战。为此，本文贡献了一种简化的用于车辆微仿真的方法，并以最少的手动设计发现了高性能控制策略。提出了一种可变的代理，多任务方法，以优化车辆部分观察到的马尔可夫决策过程。该方法在混合自治交通系统上进行了实验验证，该系统是自动化的。在六种不同的开放或封闭交通系统的所有配置中都可以观察到经验改进，通常比人类驾驶基线的15-60％。该研究揭示了许多紧急行为类似于缓解波浪，交通信号传导和坡道计量。最后，对新兴行为进行了分析，以产生可解释的控制策略，这些控制策略已通过学习的控制策略进行了验证。
translated by 谷歌翻译
由于早期的工作和新算法的开发人员，追溯式，本文使用可达性分析来验证跟随算法的安全性，这是一种用于阻尼停止和转移流量波的控制器。通过我们的物理平台收集的超过1100英里的驾驶数据，我们通过将其与人类驾驶行为进行比较来验证我们的分析结果。跟随控制器已经证明以低速抑制停止和转向流量波，但之前对其相对安全的分析仅限于加速度的上下界限。为了在先前的分析上进行扩展，可以使用可达性分析来研究其最初测试的速度的安全性，并且还处于更高的速度。示出了两种具有不同标准的安全分析配方：基于距离和基于时间的距离。跟随基于距离的标准被认为是安全的。然而，仿真结果表明，追踪者不代表人类驱动程序 - 它在车辆后面太紧密，特别是人类将认为是不安全的。另一方面，在基于前沿的安全分析的情况下，跟随不再被认为是安全的。提出了一种修改的追踪，以满足基于时间的安全标准。拟议的追随者的仿真结果表明，其响应能够更好地代表人类驾驶员行为。
translated by 谷歌翻译
这项正在进行的工作考虑了在多助理系统中自主行驶领域的可达性的安全分析。我们为速度游戏进行差异游戏后的车辆的安全问题，并研究不同的建模策略如何产生非常不同的行为，而不管其他情况策略的有效性如何。鉴于现实生活驾驶场景的性质，我们提出了我们的制定的建模策略，该策略占代理人之间的微妙互动，并将其Hamiltonian结果与其他基线进行比较。我们的配方鼓励降低汉密尔顿 - 雅各比安全性分析的保守性，以便在导航期间提供更好的安全保障。
translated by 谷歌翻译
近端策略优化（PPO）是一种普遍存在的上利期内学习算法，但在多代理设置中的非政策学习算法所使用的算法明显少得多。这通常是由于认为PPO的样品效率明显低于多代理系统中的销售方法。在这项工作中，我们仔细研究了合作多代理设置中PPO的性能。我们表明，基于PPO的多代理算法在四个受欢迎的多代理测试台上取得了令人惊讶的出色表现：粒子世界环境，星际争霸多代理挑战，哈纳比挑战赛和Google Research Football，并具有最少的超参数调谐任何特定领域的算法修改或架构。重要的是，与强大的非政策方法相比，PPO通常在最终奖励和样本效率中都能取得竞争性或优越的结果。最后，通过消融研究，我们分析了对PPO的经验表现至关重要的实施和高参数因素，并就这些因素提供了具体的实用建议。我们的结果表明，在使用这些实践时，简单的基于PPO的方法在合作多代理增强学习中是强大的基线。源代码可在https://github.com/marlbenchmark/on-policy上发布。
translated by 谷歌翻译
2019-12-05
时间上解耦政策的层次结构提出了一种有希望的方法，可以在复杂的长期计划问题中实现结构化探索。为了完全实现这种方法，需要一种端到端的培训范式。然而，由于在层次结构中的目标分配和目标级别之间的相互作用，挑战，这些多级政策的培训已经有限。在本文中，我们将策略优化过程视为多智能agence过程。这使我们能够借鉴多代理RL的沟通与合作之间的联系，并展示了对整个政策培训绩效的子政策之间增加的合作的好处。通过修改目标函数和后续级别的更高级别政策，我们介绍了一种简单但有效的技术，可以通过修改目标函数和随后的渐变来诱导级别合作。关于各种模拟机器人和交通管制任务的实验结果表明，诱导合作导致更强大的表现，并提高了一套艰难的长时间地平任务的样本效率。我们还发现使用我们的方法训练的目标条件调节政策显示更好地转移到新任务，突出了我们在学习任务不可行的较低级别行为方面的方法的好处。视频和代码可在：https://sites.google.com/berkeley.edu/cooperative-hrl。
translated by 谷歌翻译
通过改善安全性，效率和移动性，自动车辆（AVS）的快速发展持有运输系统的巨大潜力。然而，通过AVS被采用的这些影响的进展尚不清楚。众多技术挑战是出于分析自治的部分采用：部分控制和观察，多车辆互动以及现实世界网络代表的纯粹场景的目标。本文研究了近期AV影响，研究了深度加强学习（RL）在低AV采用政权中克服了这些挑战的适用性。提出了一个模块化学习框架，它利用深rl来解决复杂的交通动态。模块组成用于捕获常见的交通现象（停止和转运交通拥堵，车道更改，交叉点）。在系统级速度方面，发现了学习的控制法则改善人类驾驶绩效，高达57％，只有4-7％的AVS。此外，在单线交通中，发现只有局部观察的小型神经网络控制规律消除了停止和转移的流量 - 超过所有已知的基于模型的控制器，以实现近乎最佳性能 - 并概括为OUT-分销交通密度。
translated by 谷歌翻译
Real-world robotic grasping can be done robustly if a complete 3D Point Cloud Data (PCD) of an object is available. However, in practice, PCDs are often incomplete when objects are viewed from few and sparse viewpoints before the grasping action, leading to the generation of wrong or inaccurate grasp poses. We propose a novel grasping strategy, named 3DSGrasp, that predicts the missing geometry from the partial PCD to produce reliable grasp poses. Our proposed PCD completion network is a Transformer-based encoder-decoder network with an Offset-Attention layer. Our network is inherently invariant to the object pose and point's permutation, which generates PCDs that are geometrically consistent and completed properly. Experiments on a wide range of partial PCD show that 3DSGrasp outperforms the best state-of-the-art method on PCD completion tasks and largely improves the grasping success rate in real-world scenarios. The code and dataset will be made available upon acceptance.
translated by 谷歌翻译
Model estimates obtained from traditional subspace identification methods may be subject to significant variance. This elevated variance is aggravated in the cases of large models or of a limited sample size. Common solutions to reduce the effect of variance are regularized estimators, shrinkage estimators and Bayesian estimation. In the current work we investigate the latter two solutions, which have not yet been applied to subspace identification. Our experimental results show that our proposed estimators may reduce the estimation risk up to $40\%$ of that of traditional subspace methods.
translated by 谷歌翻译
This report summarizes the work carried out by the authors during the Twelfth Montreal Industrial Problem Solving Workshop, held at Universit\'e de Montr\'eal in August 2022. The team tackled a problem submitted by CBC/Radio-Canada on the theme of Automatic Text Simplification (ATS).
translated by 谷歌翻译